Тут есть замена лиц в видео, фото и даже пакетная обработка. Работает на Nvidia, AMD и CPU.

Подробный обзор функционала в данном видео:

Ну а в этом посте мы кратко пробежимся по ключевым особенностям:

GitHub оригинального проекта. Я убрал NSFW цензуру и добавил ряд оптимизаций.

• Большой список определения лиц: по полу, возрасту, положению в кадре, по сходству.

• Тонкие настройки маски: Вы можете контролировать какие части лица менять, а какие оставить.

• Поддержка улучшителей лица: GFPGAN, GPEN, CODEFORMER, RESTOREFORMER

Скачать портативную версию, не требующую установки и доп. программ и зависимостей можно тут и с Яндекс Диска.

Ну, а будущие обновления, а также портативные версии roop, refacer и других полезных нейронок можно найти в моем телеграм канале.

Rope - это форк популярного дипфейка roop, но серьёзно переработанный автором. Во-первых, он заточен и оптимизирован под видеокарты Nvidia. Во-вторых, у него абсолютно новый подход к графическому интерфейсу, который теперь позволяет реал-тайм выбрать замену нескольких лиц в видео, а также следить за процессом за окном предпросмотра. Кроме этого, все настройки вынесены из командной строки в интерфейс.

Поясняющая картинка от автора программы:

Оригинальный код проекта можно найти на GitHub.

Портативную версию с запуском в 1 клик можно скачать либо с Яндекс Диска либо с Облака.

Более подробный обзор я сделал в видео на YouTube, ибо для понимания некоторых аспектов лучше показать, чем рассказать, а тут пробежимся по основным аспектам работы с программой.

Для начала нам надо выбрать папку с лицами для замены, папку, где лежат видео, где мы будем менять лицо и папку куда будет все сохраняться. Лучше подготовить для этого отдельные папки. Затем нажать Загрузить модели.

После чего выбираем нужное нам видео и проматываем его на тот фрагмент, где находится лицо которое мы будем менять. Нажимаете Найти лица и оно появляется в списке.

Затем выбираем лицо из загруженных и сопоставляем его с нужным нам лицом: нажимаем сначала на одно потом на другое. После чего нажимаем кнопку SWP и произойдет замена лица.

Чтобы обработать видео, нажмите SWP, REC а затем PLY. В процессе реального времени будет идти замена лица, и когда видео закончится, оно сохранится в папку, которую вы выбрали ранее.

Также, вы можете активировать улучшатель лица GFPGAN, нажав галочку рядом с ним. Справа вы можете отрегулировать степень влияния на картинку.

Рядом же вы можете настроить параметры маски для замены лица.

Количество потоков влияет на скорость работы, но учтите, что 8-9 потоков потребляют около 20-24 гигабайт видеопамяти, поэтому будьте аккуратны с данным параметром.

В целом, программа выглядит достаточно интересно и будем надеяться, что в будущем в ней появится еще больше полезного функционала.

Ну а будущие обновления, а также портативные версии roop, refacer и других полезных нейронок можно найти в моем телеграм канале.

Итак, после выхода первой версии я продолжил допиливать функционал, который заложил автор roop-cam и сделал новую версию своего мода:

- Теперь вы можете выбрать разрешение и камеру в меню перед запуском стрима

- Кроме окна предпросмотра, добавил режим Виртуальной камеры.

- Добавил возможность выбора конкретного лица на видео с вебки.

- Cам roop быстрее работает при замене лиц на видео, местами скорость приблизилась к Refacer

- [БЕТА] Можно выбрать конкретное лицо для замены. Для этого загрузите Изображение, Видео, нажмите превью, выберите нужный кадр с нужным вам лицом для замены и нажмите Стрелочку вверх. Затем нажмите Старт и roop заменит нужное вам лицо, не тронув другие.

- Баг-фиксы.

Скачать обычную версию можно как обычно на Github, а Портативную версию (так называемая "Запуск в 1 клик") с моего облака или с Яндекс Диска

Обзор работы онлайн замены лица, можно глянуть в видео ниже:

Также в данном видео рассмотрел основные проблемы, с которыми столкнулись пользователи и рассказал о путях их решений.

Будущие обновления, как обычно, будут опубликованы в моем Телеграм канале.

Разработчик roop решил сам сделать собственную версию расширения для automatic1111 и выпустил sd-webui-roop

Под капотом по сути, тот же самый roop, но заточенный конкретно под замену лиц на изображениях. Что он умеет:

• При использовании во вкладке txt2img, заменяет лица на всех генерациях на лицо с фото, которое вы выберете.

• При использовании во вкладке img2img позволяет менять лица на изображении, как сгенерированном в SD, так и загруженном (например - фото).
  
  Также есть поддержка улучшения лица через Codeformer / gfpgan и возможность использования апскейлеров.

Для установки расширения понадобится установленная Visual Studio (для компиляции Insightface)

Инструкцию по установке без Visual Studio и скомпилированные файлы можно найти тут

Официальный Github

Разумеется, в оригинальной версии стоит проверка на NSFW контент. Если для вас это критично, то я подготовил для вас версию расширения с вырезанной цензурой:

sd-webui-roop без цензуры

Больше различных нейросетей, а также их портативные версии, можно найти в моем телеграм канале Neurogen

Заебали попрошайки, вот улыбнитесь старой знакомой! Сделал с помощью roop.

refacer - еще один очень простой дипфейк, поддерживающий замену до 8 (!) лиц в одном видео.

Работает через webui, поэтому если кто-то работал с automatic1111, то интерфейс покажется ему знакомым.

Принцип работы немного отличается от roop: Вам надо выбрать видео, затем выбрать лицо, которое будете менять (по нему будет работать распознавание) и лицо, на которое будет идти замена.
Затем нажимаете кнопку и начнется замена лиц. Итоговое видео будет лежать в папке out
Вот тест на 3 лица:

В программе работает GPU ускорение для карт Nvidia, AMD пока что нет (но я пытаюсь сделать).
Официальный релиз можно скачать на Github проекта

Я, в свою очередь, подготовил собственный "репак" для запуска в один клик (для запуска программы надо просто запустить 1-click-run.bat, скачать можно:

Яндекс Диск

Гугл Диск

Основные отличия:

- Автоматическая установка всех необходимых пакетов, собранная библиотека insightface (у многих ее сборка вызывает проблемы)
- Создание venv, для избежания конфликтов
- Русификация интерфейса, автозапуск UI
- Небольшая инструкция для подготовки ОС к работе с программой.

Будущие обновления буду выкладывать в своем телеграм канале. На днях доделаю возможность выбирать количество GPU потоков, и сделаю отдельную версию с поддержкой TensorRT.